Hexo

——-归一化—–
普通归一化，不能搞定负值
softmax归一化， 能搞定负值

——-降维—–
单模态：
PCA：选取最大方差的方向（选择一组映射/基，使得映射后的数据方差最大）。做法：协方差矩阵的特征值分解，取最大几个。
SPM：对图像取不同层次的特征，构成金字塔
LDA：线性判别分析，
sparse coding: 即矩阵分解时，编码是稀疏的，字典未必稀疏。目的：学习compact representations of images

Dictionary learning:
represent learning:
compressive sensing:
validation set:验证集，决定什么时候应该停止训练。
test set: 测试现场运行性能

CCA： （典型相关分析）两个模态映射到同一空间，使person相关系数最大。寻找同一对象两组变量间线性相关性的一种常用的多元统计分析方法
ECA：增强相关分析
ICA：
ISOMAP（等距映射）： 定义了一种新的距离度量，首先对所有样本点做全连接，定义两点间的距离是两点间的最短路距离（比较新颖，但是计算量较大）
LE： laplace eigenmaps （拉普拉斯特征图法）–
LPP: locality preserving projection（局部保持投影）– 引入graph laplace项，使得降维前后保持近邻关系
LLE: locally linear embedding（局部线性嵌入）–
哈尔小波：降采样+残差

—–特征选择—–
决策树–根据信息量大小（信息增益，或区分能力,或其他策略），决定先选哪个特征。

—–聚类—–
K-Means：把n的对象根据他们的属性分为k个分割(k < n)。它与处理混合正态分布的最大期望算法(本十大算法第五条)很相似，因为他们都试图找到数据中自然聚类的中心。
它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。

—–回归分类—–
感知机： 分类超平面 f(x) = sign(wx+b)，损失函数是误分类点到划分超平面S(w.x+b=0)的总距离
KNN： 给定一个样本，找到k个近邻，k近邻多数属于的类别，判定为该样本的类别。
sigmoid函数： 实数域 到 自然数域 的一个映射。
logistc回归： 似然服从sigmoid函数，的 MLE。多类问题采用softmax函数
probit回归： 似然服从正态分布的累积分布
最大熵模型：max H(y|D),跟logistic回归形式类似，都称为对数似然模型。
最小二乘法： 误差服从gauss分布，的MLE
SVM：最大类间几何间隔，误差服从 hinge loss
pagerank: Ax=x ，已知A求x的问题。一个高等级的页面指向可以使其他低等级页面的等级提升。
naive bayes: 一种分类方法；类条件独立假设，减少了参数数目。 p(Y) P(X|Y) –> P(Y|X)。 详见李航书
bayesian estimation： 一种参数估计方法，P(X) P(Y|X) –> P(X|Y)
核函数： 低维空间线性不可分，可以通过非线性映射，映射到高维空间去

——优化—–
共轭梯度法： 固定其他变量，优化一个

拉普拉斯分布： 就是背靠背的双指数分布